Pedestrian detection in front of the ego vehicle using (stereo) camera in the urban scene: Deep versus Shallow learning approaches

Object detection is crucial in the environment of autonomous driving and advance driver assistance systems for safely maneuvring vehicle in the urban traffic. Among the traffic participants we find pedestrians are the one who are most vulnerable and their safety is also crucial. Therefore, this work focuses on pedestrian detection in urban environment using the camera mounted on ego vehicle. The thesis aims at understanding and comparison of shallow and deep learning approaches for pedestrian detection, and two ensemble methods are proposed that combines the chosen deep and shallow method with the context-based classifier respectively. Firstly, an pre-trained deep architecture for object detection is combined with the context-based classifier. Whereas, in second method shallow approach is combined with context-based classifier. Further in the outlook of this work stereo data is used to minimize the detected false positives form the proposed ensemble deep approach. Prototyping of first proposed method is achieved using the CAFFE deep learning framework with Python interface, and the second shallow method is achieved using the well known computer vision library OpenCV with C++. The proposed method is trained, tested and evaluated on Caltech pedestrian dataset with di↵erent metri

KI als Schlüsseltechnologie für Mustererkennung und Situationsbewusstsein - Wie erhält das Fahrzeug das erforderliche Wissen?

Zur Umfeldwahrnehmung mit Kameras und anderen Sensoren werden intelligente und selbstlernende Verfahren als Schlüsseltechnologie angesehen. Entsprechende Trainingsdaten vorausgesetzt, können mit Deep Learning und Neuronalen Netzen Fahrzeuge und andere Verkehrsobjekte bspw. in Kamerabildern detektiert, verortet und prädiziert - sowie in einen verkehrlichen Gesamtkontext gebracht werden. Zudem ist dies eine Grundlage zur Bestimmung der Eigenposition relativ zum Verkehrsgeschehen und unabhängig von störanfälligen Quellen wie Satellitennavigation. Der Vortrag ist ein Auszug aus den aktuellen Arbeiten des DLR im Rahmen der KI-Projektfamilie aus der VDA-Leitinitiative Automatisiertes Fahren. Thematisiert wird die Forschungsfrage, wie KI-Systeme effizient und möglichst vollständig mit dem erforderlichen Wissen ausgestattet werden können, um sie zur Umfeldwahrnehmung für das automatisierte Fahren einsetzen zu können

Traffic Safety at German Roundabouts—A Replication Study

Roundabouts are well-known for their ability to improve upon traffic safety, especially for motorized traffic. An in-depth analysis on this topic is known from previous work. It was found that different types of roundabouts have different levels of safety. The work at hand is a replication study for a previous study in this regard. It uses a mix of traditional and a Machine Learning (ML)-based approach, expands on the previous results and replicates some of the previous findings. This was possible especially by using a factor of 10 more roundabouts in the analysis, with considerably less manual intervention. Furthermore, this study could also draw some additional conclusions regarding the safety of bicyclists, which were not included in the original study. Finally, by using cross-validation techniques, a kind of minimal model could be established that needs fewer factors and achieves better prediction quality than straightforward glm models

Knowledge Augmented Machine Learning with Applications in Autonomous Driving: A Survey

The existence of representative datasets is a prerequisite of many successful artificial intelligence and machine learning models. However, the subsequent application of these models often involves scenarios that are inadequately represented in the data used for training. The reasons for this are manifold and range from time and cost constraints to ethical considerations. As a consequence, the reliable use of these models, especially in safety-critical applications, is a huge challenge. Leveraging additional, already existing sources of knowledge is key to overcome the limitations of purely data-driven approaches, and eventually to increase the generalization capability of these models. Furthermore, predictions that conform with knowledge are crucial for making trustworthy and safe decisions even in underrepresented scenarios. This work provides an overview of existing techniques and methods in the literature that combine data-based models with existing knowledge. The identified approaches are structured according to the categories integration, extraction and conformity. Special attention is given to applications in the field of autonomous driving

Object Detection Based on Deep Learning and Context Information

In order to avoid collision with other traffic participants automated driving vehicles need to understand the scene around the ego-vehicle. Object detection as part of scene understanding remains a challenging task due to the highly variable object appearances. Object appearances can vary according to position, occlusion, illumination, etc. In this work we propose a combination of convolutional neural networks and context information to improve object detection. Context information and deep learning architectures, which are relevant for object detection, are chosen. Different approaches for integrating context information into the convolutional neural networt are discussed. The combined classifier is trained and evaluated on real scene data

Holistische Szenenmodellierung und -Interpretation basierend auf subsymbolischen, symbolischen und probabilistischen Methoden

Automatisierte Fahrzeuge benötigen eine robuste und echtzeitfähige Erfassung der Szene und der Situation. Die wichtigsten Elemente der Szene sind die dynamischen Objekte und die Szenerie. Die Situationserfassung besteht aus folgenden Teilaspekten: Die Situationsmodellierung und die Situationsinterpretation. Die Situationsmodellierung betrachtet relevante Elemente der Szene bezogen auf die Ziele und Werte des Ego-Fahrzeugs. Die Situationsinterpretation hat als Hauptaufgaben die Schätzung der Konsistenz und Relevanz von Szenenelementen, die Prädiktion der zeitlichen Entwicklung der Situation und die Schätzung der Kritikalität der Situation bezogen auf die prädizierte Entwicklung dieser Situation. Die Szenen- und Situationserfassung sind sehr komplex Aufgaben, da eine große Diversität an Eigenschaften wie Tageszeit, meteorologischen Einflüssen, Sensorrauschen, Objektklassen und Relationen zwischen Szenenobjekten berücksichtigt werden müssen. Darüber hinaus sollen die rechenaufwändigen Erfassungsalgorithmen in Echtzeit unter Beachtung von eingeschränkten Ressourcen in eingebetteten Systemen laufen. In der Literatur wurden viele Ansätze der künstlichen Intelligenz vorgeschlagen, um die Aufgaben der Szenen- und Situationserfassung zu lösen. Diese Ansätze basieren hauptsächlich auf symbolischen, subsymbolischen und probabilistischen Methoden. Während diese Methoden sehr gut erforscht sind und gute Ergebnisse liefern, ist eine Kombination der Methoden, um von deren Vorteilen zu profitieren und deren Nachteile zu kompensieren, immer noch ein offenes Problem. In dieser Arbeit wird eine holistische Betrachtung der Szene und der Situation, in der die Kontextabhängigkeiten der Szenen- und Situationselemente als Vorwissen modelliert werden, vorgeschlagen. Das vorgeschlagene System besteht aus einer Wissensbasis, die das Vorwissen über Szenen- und Situationselemente auf einer symbolischen Ebene mit Hilfe von Ontologien und Regelbasen modelliert. Das Vorwissen enthält räumliche, zeitliche und semantische Abhängigkeiten zwischen Szenen- und Situationsaspekten. Um Unsicherheiten in der Wissensbasis zu modellieren, wird das Vorwissen anhand der Konzepte aus der Ontologie in Form von probabilistischen graphischen Modellen abgebildet. Methoden des maschinellen Lernens (bspw. tiefe neuronale Netze, Ensemble Modelle, etc.), die subsymbolische Informationen verarbeiten, ergänzen das System. Zur Laufzeit wird das System verwendet, um die Szene und die Situation kontext-konsistent zu erfassen. Konzepte und Methoden zur Handhabung der Komplexität der Wissensbasis, zur Integration der Module des Systems sowie zum Umgang mit Inkonsistenzen und Unstimmigkeiten werden eingebracht. Konkrete Anwendungen des Systems werden demonstriert

KI4Safety: Einsatz von Methoden der Künstlichen Intelligenz für die Verkehrssicherheitsarbeit

Häufungsstellen für Verkehrsunfälle haben unterschiedlichste Ursachen. Im Rahmen des Projektes KI4Safety wird ein System entwickelt, welches mit Hilfe statistischer Methoden und neuartiger Verfahren aus dem Bereich der Künstlichen Intelligenz und des Deep Learnings Daten auswertet um Einflussfaktoren auf Unfallhäufungsstellen zu identifizieren. Als Daten werden Datenbanken mit Bildern der Unfallorte und deren Umgebung, frei verfügbares Kartenmaterial und verkehrstechnische Kenngrößen wie DTV und Geschwindigkeitsbegrenzungen herangezogen. Basierend auf dieser Auswertung bietet das System Unterstützungsleistungen für Praktiker in der Verkehrssicherheitsarbeit an, so z.B. Verkehrssicherheitsforschern und letztlich Mitgliedern der Unfallkommission. Es ermöglicht vergleichende Untersuchungen zum Effekt von Maßnahmen zur Gestaltung von Verkehrsführungen mit größeren Stichproben als bisher. Die Vergrößerung der Stichproben erlaubt eine differenziertere Stichprobenauswertung, höhere statistische Signifikanzniveaus hinsichtlich der getroffenen Aussagen und eine genauere Bestimmung der Effektgrößen, d.h. der zu erwartenden Verringerung der Anzahl von Unfällen. Gegenstand des vorliegenden Berichts ist die Darstellung der Anwendungsszenarien, der damit verbundenen konzeptionellen Arbeiten im Rahmen des Projektes KI4Safety, der entwickelten Lö- sung sowie der durchgeführten Validierungsprozesse und der gewonnenen Erkenntnisse. Die entwickelte Lösung umfasst - eine Datenbank, - Python-Scripte zur Befüllung der Datenbank, - KI-Module zur Befüllung der Datenbank, - ein QGIS-Plugin zur Filterung, welches bei der Zusammenstellung von Stichproben zum Einsatz kommt, sowie - statistischen Methoden für die Auswertung und den Stichprobenvergleich